Aufgeräumte Daten (tidy data)

• dieselben Daten können auf verschiedene Weise dargestellt werden
• Die folgenden Datensätze zeigen alle dieselben Werte für vier Variablen: country, year, popuplation, und cases (Anzahl) der Tuberkulosefälle
  • jeder Datensatz ordnet die Werte anders an

• was ist am einfachsten zu lesen?

Why tidy data?

“Happy families are all alike; every unhappy family is unhappy in its own way.” — Leo Tolstoy

“Tidy datasets are all alike, but every untidy dataset is untidy in its own way.” — Hadley Wickham

• Die Bereinigung der Daten erfordert im Vorfeld einige Arbeit, ist aber auf lange Sicht hilfreich
• wenn wir einmal aufgeräumte Daten haben, werden wir weniger Zeit damit verbringen, die Daten in die richtige Form zu bringen, um das zu tun, was wir wollen

Daten aufräumen

• Umformung
  • z.B. von breiten zu langen Daten
• Ergebnis:
  • jede Spalte = eine Variable
  • jede Zeile = eine Beobachtung

Datenaufräumung mit dem tidyverse

• mit dem tidyr-Paket
  • pivot_longer(): macht breite Daten länger
  • pivot_wider(): lange Daten breiter machen
• wir müssen oft zwischen diesen Formaten konvertieren, um verschiedene Arten von Zusammenfassungen oder Visualisierungen zu erstellen

Breite versus lange Daten

• Breite Daten: alle Beobachtungen zu einer Sache stehen in derselben Zeile
  • breite Daten sind normalerweise nicht ‘tidy’
• lange Daten: jede Beobachtung steht in einer eigenen Zeile
  • lange Daten sind in der Regel ‘tidy’

Verlängern von Daten: df_billboard

• in dem Datensatz billboard.csv
  • jede Zeile ist ein Lied
  • die ersten drei Spalten sind Variablen, die den Song beschreiben (artist, track, date_entered)
  • wir haben 76 Spalten (wk1-wk76), die den Rang des Liedes in dieser Woche beschreiben
    • Die Spaltennamen sind eine Variable (die week), und die Zellwerte sind eine andere Variable (der rank)

Entfernen fehlender Werte (NA)

• wir haben ein paar NA (fehlende) Werte; dies geschah, wenn ein Song nicht in den Top 100 war
  • Mit dem Argument values_drop_na = TRUE/FALSE werden geschwenkte Zeilen gelöscht, die keinen Wert für die neue Variable haben.

df_billboard_tidy <- df_billboard %>% 
  pivot_longer(
    cols = starts_with("wk"), 
    names_to = "week", 
    values_to = "rank",
    values_drop_na = TRUE
  ) 

Parsing Zahlen

• die Daten sind jetzt ordentlich, aber week enthält immer noch wk in den Werten
• Das Paket readr hat eine praktische Funktion: parse_number() extrahiert die erste Zahl aus einer Zeichenkette und ignoriert alle anderen Texte
  • Wie könnten wir parse_number() benutzen, um die Variable week zu ändern?

df_billboard_tidy <- df_billboard_tidy %>% 
  mutate(week = parse_number(week))

Arbeiten mit Datumsangaben

• Das tidyverse hat auch ein Paket, das die Arbeit mit Datumsangaben erleichtert: lubridate
  • die Variable date_entered hat das Format Jahr-Monat-Tag (ymd)
  • Wir können lubridate Verben verwenden, um das year, den month und den day zu extrahieren

df_billboard_tidy <- df_billboard_tidy %>%
  mutate(
    month = month(date_entered, label = F),
    day = day(ymd(date_entered)),
    year = year(ymd(date_entered))
  ) 

Widening data: df_cms

• pivot_wider() macht Datensätze breiter, indem es Spalten vergrößert und Zeilen verkleinert
  • Dies ist hilfreich, wenn eine Beobachtung über mehrere Zeilen verteilt ist.
  • Diese Art von Daten ist in der freien Wildbahn nicht sehr häufig, aber in Regierungsdaten ist sie ziemlich verbreitet.

pivot_wider()

• nimmt lange Daten und macht sie breiter
• benötigt einige Argumente:
  • id_cols: identifizierende Spalten
  • names_from: wie soll die neue Spalte heißen, die die bisherigen Spaltennamen enthält?
  • names_prefix: Präfix für die neuen Spaltennamen
  • values_from: neue Spaltenwerte